When Memory Takes Gradients: Collaborative Vector Memory for Agentic Recommender Systems
当记忆接受梯度：面向智能体推荐系统的协同向量记忆
🧭 Agent 记忆设计 · 协同向量记忆 ★ 深度解读
Shenzhen Technology University
用 LightGCN 协同状态作为 LLM Agent 持久记忆，通过对比对齐和掩码 listwise 协同训练让模型学会读取向量记忆，在 4 个指令推荐基准上超过文本记忆 Agent 且零额外维护调用
📌 工作参考价值（4 点）
- 把 Agent 的用户记忆从“文本叙事”拆成“轻量文本画像 + 冻结协同向量记忆”。电商/推荐场景可复用已有的 LightGCN、SASRec、SVD++ 等用户与物品 embedding 作为记忆库，避免每次交互后调用 LLM 重写，省去大量 token 与串行延迟。
- 采用 candidate-conditioned retrieval：用当前候选集 embedding 质心去用户历史里检索 top-K 最相关物品状态，而不是取最近 K 个；这对排序/推荐 Agent 在线推理便宜且与当前决策相关。
- 不要只把 embedding 塞进 prompt。需要 gated projector + 低秩 LoRA 构成可训练的 memory reader，并用“候选 title 随机 mask + listwise margin loss”强制模型依赖协同 token；否则 LLM 会走文本捷径，向量 token 反而干扰。
- 推理阶段用 pointwise yes/no logit 打分并并行请求，避免 listwise 生成排序的解析失败；指令位置可以用只基于训练集统计量的零样本规则卡选择，避免验证集泄漏。